BizBench: Unveiling Hidden Challenges in Deploying Long-Horizon Agents for Real-World Business
BizBench：揭示真实业务长程智能体部署中的隐藏挑战
🧭 长程 Agent 业务执行评测 ★ 深度解读
Peking University · Ant International
构建含789文档/601工具的支付业务基准，同时评估目标达成与中间执行合规，前沿模型严格成功率仅64%
📌 工作参考价值（4 点）
- 把「目标达成」和「执行合规」拆开评估，用确定性 checks 回放 execution trace，而不是只看最终状态；能抓到 pre-approval 执行、储备金中途跌破等最终结果掩盖不了的违规。
- 业务规则要显式建模 scope/版本/生效期，让 agent 先判断适用规则再执行；单纯 RAG 召回不足，需增加规则冲突消解和时效校验。
- 用户/客户私有信息需多轮澄清，信息获取比文档检索更影响效果；全量客户披露使 strict success 从 43.3% 提升到 70.0%，建议在业务 Agent 中设计结构化信息需求列表和主动澄清机制。
- 工具调用冗余严重，如 DeepSeek-V4.1-Flash 为 Golden 的 1.71 倍，且大量重复读取；可引入检索去重、budget 感知或停止条件，降低长程执行成本。